近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型，即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中，我们专注于视频预测的任务，其中给出了从视频中提取的一系列帧，目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后，我们分析发电机中的复发单元，并提出了一种新的复发单元，其根据预测的运动样本来改变其过去的隐藏状态，并改进它以处理DIS闭塞，场景变化和其他复杂行为。我们表明，这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃，从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7，下降到69.2。
translated by 谷歌翻译
In this work we aim to solve a large collection of tasks using a single reinforcement learning agent with a single set of parameters. A key challenge is to handle the increased amount of data and extended training time. We have developed a new distributed agent IMPALA (Importance Weighted Actor-Learner Architecture) that not only uses resources more efficiently in singlemachine training but also scales to thousands of machines without sacrificing data efficiency or resource utilisation. We achieve stable learning at high throughput by combining decoupled acting and learning with a novel off-policy correction method called V-trace. We demonstrate the effectiveness of IMPALA for multi-task reinforcement learning on DMLab-30 (a set of 30 tasks from the DeepMind Lab environment (Beattie et al., 2016)) and Atari-57 (all available Atari games in Arcade Learning Environment (Bellemare et al., 2013a)). Our results show that IMPALA is able to achieve better performance than previous agents with less data, and crucially exhibits positive transfer between tasks as a result of its multi-task approach. The source code is publicly available at github.com/deepmind/scalable agent.
translated by 谷歌翻译
We present nBIIG, a neural Business Intelligence (BI) Insights Generation system. Given a table, our system applies various analyses to create corresponding RDF representations, and then uses a neural model to generate fluent textual insights out of these representations. The generated insights can be used by an analyst, via a human-in-the-loop paradigm, to enhance the task of creating compelling table reports. The underlying generative neural model is trained over large and carefully distilled data, curated from multiple BI domains. Thus, the system can generate faithful and fluent insights over open-domain tables, making it practical and useful.
translated by 谷歌翻译
2022-09-21
我们建议第一个通过对弱的微型计算机进行深入学习的实时语义细分的系统，例如Raspberry Pi Zero Zero V2（其价格\ 15美元）附加到玩具无人机上。特别是，由于Raspberry Pi的重量不到$ 16 $，并且其大小是信用卡的一半，因此我们可以轻松地将其连接到普通的商业DJI Tello玩具器中（<\ $ 100，<90克，98 $ \ \时间$ 92.5 $ \ times $ 41毫米）。结果是可以从板载单眼RGB摄像头（无GPS或LIDAR传感器）实时检测和分类对象的自动无人机（无笔记本电脑或人类）。伴侣视频展示了这款Tello无人机如何扫描实验室的人（例如使用消防员或安全部队）以及在实验室外的空停车位。现有的深度学习解决方案要么在这种物联网设备上实时计算要么太慢，要么提供不切实际的质量结果。我们的主要挑战是设计一个系统，该系统在网络，深度学习平台/框架，压缩技术和压缩比的众多组合中占有最好的选择。为此，我们提供了一种有效的搜索算法，旨在找到最佳组合，从而导致网络运行时间与其准确性/性能之间的最佳权衡。
translated by 谷歌翻译
在诸如增强学习和变分自动编码器（VAE）培训等上下文中，梯度估计通常是将生成模型与离散潜在变量拟合的必要条件。撤销估计器（Yin等，2020; Dong，Mnih和Tucker 2020）在许多情况下实现了Bernoulli潜在变量模型的最新梯度差异。然而，撤消和其他估计器在参数空间的边界附近可能会爆炸方差，而解决方案倾向于存在。为了改善此问题，我们提出了一个新的梯度估计器\ textIt {BitFlip} -1，该{Bitflip} -1在参数空间边界的方差较低。由于BITFLIP-1具有与现有估计器的互补属性，因此我们引入了一个汇总的估计器，\ textIt {无偏梯度方差剪辑}（UGC），该估计量使用BITFLIP-1或每个坐标的摘要梯度更新。从理论上讲，我们证明UGC的差异均高于解除武装。从经验上讲，我们观察到UGC在玩具实验，离散的VAE训练以及最佳子集选择问题中实现了优化目标的最佳价值。
translated by 谷歌翻译
2022-08-11
分布式形态框架的支持者提出了两个形态形成的两个层面：一个较低的单词形成，导致输入输出语义关系松散；和一个高层，导致了紧密的输入输出语义关系。在这项工作中，我们建议在希伯来语单词嵌入的背景下测试该假设的有效性。如果两个级别的假设得到了证实，我们期望最先进的希伯来语单词嵌入将编码（1）名词，（2）从其衍生而来（通过上级操作）和（3）和（3 ）与名词相关的动词（通过名词根部的低级操作），以使得（2）在嵌入空间中应比相关动词（3）更接近名词（1）。是相同的名词（1）。我们报告说，这一假设通过希伯来语的四个嵌入模型来验证：FastText，Glove，Word2Vec和Alephbert。这表明单词嵌入模型能够捕获出于形态学动机的复杂而细粒的语义属性。
translated by 谷歌翻译
我们解决产品生成任务。对于给定的产品描述，我们的目标是生成反映潜在用户信息需求的问题，这些需求要么缺少或不涵盖描述中的问题。此外，我们希望涵盖可能涵盖多种产品类型的各种用户信息需求。为此，我们首先展示了如何对任务进行微调的T5预训练的变压器编码器模型。然而，尽管与最先进的任务方法相比，T5产生的问题具有合理的质量（KPCNET），但许多此类问题仍然太笼统，导致了次优最佳的全球问题多样性。作为替代方案，我们提出了一种新颖的学习对多样化（LTD）微调方法，该方法可以丰富基础变压器模型所学的语言。我们的经验评估表明，使用我们的方法可显着提高基础变压器模型的全球多样性，同时尽可能多地保持其一代相关性。
translated by 谷歌翻译
我们处理与混合倡议的会话搜索方案：即用户询问系统答案，以及系统询问（澄清问题）和用户答案。我们专注于选择下一个澄清问题的任务，给定对话上下文。我们的方法利用通道检索，用于初始选择相关候选澄清问题，以及微调两个深度学习模型，用于重新排名这些候选人。我们在两种不同用例中评估了我们的方法。第一个是在大型Web集合中的开放式域会话搜索。第二个是面向任务的客户支持设置。我们展示我们的方法在两个使用情况下表现良好。
translated by 谷歌翻译
精密医学是疾病预防，检测和治疗的临床方法，旨在考虑每个人的遗传背景，环境和生活方式。这种量身定制的大道的发展是由常规方法的可用性，大群体样本的增加以及与临床数据的集成而导致的。尽管进展巨大，但数据分析的现有计算方法无法为该复合体，高维和纵向数据提供适当的解决方案。在这项工作中，我们开发了一种称为TCAM的新方法，这是用于多向数据的维度减少技术，克服纵向常规数据的轨迹分析时克服了主要限制。使用现实世界数据，我们表明TCAM优于传统方法，以及最先进的基于卷起的纵向微生物组数据分析方法。此外，我们通过将其应用于几个不同的OMIC数据集来证明TCAM的多功能性，以及它在直接的ML任务中的替换中的适用性。
translated by 谷歌翻译
谷歌的运营洪水预测系统是制定的，为机构和公众提供准确的实时洪水警告，重点是河流洪水在大型潮流的河流中。它在2018年开始运作，自从地理位置扩展以来。该预测系统由四个子系统组成：数据验证，阶段预测，淹没建模和警报分配。机器学习用于两个子系统。阶段预测采用长短期内存（LSTM）网络和线性模型进行建模。使用阈值和歧管模型计算洪水淹没，前者计算淹没程度，后者计算淹没程度和深度。本文首次提供的歧管模型提供了一种机器学习替代洪水淹没的液压建模。在评估历史数据时，所有型号都可以实现可操作使用的足够高的度量指标。 LSTM表现出比线性模型更高的技能，而阈值和歧管模型达到了类似的性能度量，以便在淹没程度上进行建模。在2021年的季风季节期间，洪水预警系统在印度和孟加拉国运营，覆盖河流的洪水区，总面积287,000平方公里，拥有350多万人。超过100米的洪水警报被发送给受影响的人口，相关当局以及紧急组织。系统上的当前和未来的工作包括将覆盖范围扩展到额外的洪水易发位置，以及提高建模能力和准确性。
translated by 谷歌翻译